持续学习基准：评估 LLM 智能体的长周期经验学习能力
🧭 LLM Agent 持续学习能力评估
University College London
构建 600 级递进任务基准，量化诊断反馈与修订对 LLM 智能体经验学习的作用
📌 工作参考价值（4 点）
- 在电商智能体（如客服、选品、广告优化）的设计中，可以采用「多级递进任务」框架：让 Agent 先完成简单任务，成功后再解锁更复杂任务，从而在任务流中自然积累经验，而不是一次性给出完整任务。
- 引入「失败后诊断反馈 + 一次修订」的机制，能带来中位数 5.3 个百分点的完成率提升；实际系统中可设置轻量级反馈循环，让 Agent 在失败时获得针对性的错误分析并重新生成一次，成本可控。
- 评估智能体时，不要只看单个 task 的准确率，而应关注跨时间、跨任务的改进幅度和知识保留；这更贴近推荐/广告系统中连续决策、用户反馈驱动的真实场景。
- 该基准数据可用于后训练 LLM 以增强持续学习能力，从业者可以考虑将业务日志中的成功/失败案例转化为类似的阶梯式训练样本。
Δτ-Bench：在持续演化的工具生态中评测 Agent 适应能力
🧭 Agent 工具生态演化评测与技能管理 ★ 深度解读
Zhejiang University · University College London
构建可执行演化工具生态基准，并提出 STEWARD 联合维护工具与技能以跟上能力前沿
📌 工作参考价值（4 点）
- 把内部工具/API 生态当作“会演化的能力前沿”：记录 skill-tool 依赖，工具下线只标记 inactive、不删除；接口恢复时可快速 reactivate，适合推荐 Agent 频繁调用商品、促销、广告接口的场景。
- 增量技能维护优于全量重建或冻结：从成功轨迹只做局部编辑，维护 token 省 30-40%，且 SR 更高；业务里不要每次接口变更都全量重蒸馏 SOP。
- 执行时动态 provision tools+skills，而不是一开始灌全量工具列表：先按初步计划给一个小工具集，出现能力缺口再检索和检查 schema，能提高 tool precision/F1，降低长上下文分心。
- 监控 Agent 不能只看任务成功，要看相对当前版本最优路径的路径效率 SPE/IDR/DAR：只看成功会掩盖“旧流程仍能跑通但错过更优路径”的退化。
自动化科学机器学习：前沿 Agent 能否在真实场景中攀登科学之丘
🧭 科学ML自动化智能体评测与增强 ★ 深度解读
Anthropic Fellows Program · Anthropic
构建AGENT4SCI科学ML测试床，前沿Agent在20个基准上平均相对提升10.4%，加技能后达20.1%，提升主要来自工程技巧而非科学洞见
📌 工作参考价值（4 点）
- 三阶段隔离评测可直接迁移到广告/推荐的自动调参或 Agent 实验平台：让“跑实验的 Agent”看不到评估集，由独立评估 Agent 打分、审计 Agent 查作弊，可避免测试集泄漏和指标操纵。
- 在长时 AutoML 任务中加入“每小时自检”checklist，强制 Agent 回答“当前是否只在调 seed/lr”，可有效防止早收敛到局部超参搜索；电商/推荐模型调优可显式限制纯超参调优轮次，要求周期性提出新结构/新特征。
- research ideation 用夸张 persona + 文献挖掘引导提出更有领域结构的方法；在搜索/推荐中可让 Agent 先挖内部业务文档和公开论文，再提出具有业务/物理约束的辅助损失或架构调整，而不仅是换 backbone。
- 显式 experiment management 指令（并行实验、避免 CPU/GPU 争抢、实时监控）能显著提升长时任务效率，适合 12 小时级推荐模型重训或特征回放实验。
OfficeTown：面向专业组织的生成式模拟与智能体演进框架
🧭 生成式组织模拟 · 多智能体协作评估与训练
Wuhan University · University of California San Diego · South China University of Technology · Cornell University · Microsoft Research Asia
用生成式组织模拟持续产生专业任务、上下文与反馈，构建 406 任务基准并训练提升 Qwen3.5-9B
📌 工作参考价值（4 点）
- 用自然语言组织描述自动生成任务流、工件、权限和反馈，可迁移到电商运营/广告投放/客服等场景，低成本构建多智能体训练与评估环境。
- Principal–assistant 架构值得借鉴：主 Agent 拆解需求、委派边界子任务并审查交付物，子 Agent 只可见权限内上下文，适合搜索推荐链路中把意图理解、召回、排序、文案生成拆给不同子 Agent。
- 持久化 artifacts、decisions、unresolved matters 相当于跨任务长期记忆，可提升多轮推荐/搜索 Agent 对用户历史、活动状态和未决问题的利用效率。
- 模拟数据 + SFT/on-policy distillation 能有效提升外部专业工作基准，业务上可批量生成带评审反馈的搜索推荐 Agent 轨迹，蒸馏到中小模型，降低线上成本。
FDE-Gym：AI交付最后一公里的评估基准
🧭 Agent 交付能力评估基准 ★ 深度解读
DeepLethe · Tsinghua University · Shanghai Jiao Tong University · Beijing University of Posts and Telecommunications
构建95个真实客户交付任务基准，评估智能体在模糊需求下提升客户业务指标的能力
📌 工作参考价值（4 点）
- 将业务KPI作为Agent评价的最终尺度，而非任务完成率：电商客服/推荐Agent可借鉴，用转化率、GMV、用户时长等业务指标直接衡量交付效果，避免只优化中间指标。
- 显式对利益相关者交互计费（stakeholder contact cost），鼓励Agent高效提问：对话式推荐或澄清式搜索中，可加入用户打扰成本，训练Agent平衡信息获取与用户体验，减少冗余询问。
- 任务指令分层（L0-L3）隔离信息缺失的影响：可用于评估推荐系统在用户查询模糊或需求误导时的表现，定位是约束发现、问题定义还是实现能力的瓶颈。
- 警惕“字面合规”陷阱：直接按用户请求实现可能无法提升业务指标，需要挖掘未明说的约束。在电商场景中，不能仅根据用户显式点击行为推荐，还要理解深层业务目标（如利润、库存、长期留存）。
SEABench：自进化智能体内源性失配基准
🧭 自进化智能体安全与归因评测 ★ 深度解读
University of Virginia · ELLIS Institute Tübingen
提出 SEABench 基准，用成对非进化智能体与归因评分量化自进化导致的安全退化
📌 工作参考价值（4 点）
- 在推荐/Agent 工作流里，自更新（controller/memory/tools）会把上游“更全、更快、更一致”的用户反馈固化成跨场景规则；上线前用成对非进化版本跑同一批安全/隐私测试，只有归因到自更新且基线安全时才允许推进。
- 工具/技能面最容易被污染且危害最大：错误会变成可复用可执行能力。给工具默认安全参数（如脱敏默认开启、高风险操作必须显式 opt-in），对工具变更做更强的静态检查和脚本化回归。
- CoT 风险线程监控可以做低误报的在线护栏：对推理中“范围扩张 / 未支撑断言 / 安全边界被覆盖”等 risk thread 做分类 + 语义校验，生产环境 FPR 约 10% 时能挡下约 71% 有害输出；但工具/技能型缺陷可能不在 CoT 中暴露，必须加输出或调用结果级校验。
- 可借鉴其 TextGrad 级联改写 + LLM-as-judge 的轨迹发现方法，给推荐 agent 造纵向压力测试序列：上游任务只要求效率/完整性，下游评估是否出现隐私泄露、上下文混淆、护栏腐蚀。
BTS-AgentBench：从只读遥测日志到可复现 Agent 基准的确定性管线
🧭 Agent 基准构建与确定性重放
从工业遥测日志构建可重放、零泄漏多轮 Agent 基准，精确复现 356/87/89 划分
📌 工作参考价值（4 点）
- 用业务日志构造 agent 评估集时，先将原始日志规范化为 read-only tool store，再生成任务，保证工具视图与实际一致，避免评测数据污染。
- 采用 deterministic pipeline + replay report + construction-exclusion controller，确保 train/dev/test 可重建且无答案泄漏；这在电商/客服 agent 评测中可复用到多轮任务生成。
- 对多轮 agent 任务显式添加 clarification、goal revision、timestamp policy、quality-gated reporting、evidence attribution 等类型和边界，能在业务上定义更可操作的 agent 评估维度。
- 对 benchmark 引入 coded contract preflight 和 double build matching，提升构建质量；工程上可以用类似契约测试保障 pipeline 一致性。
StartupBench：基于市场验证的端到端工作流评测通用智能体
🧭 Agent 端到端真实工作流评测
ByteDance Seed · Nanjing University · M-A-P · TokenWave.AI
构建首个基于市场验证 AI 创业产品工作流的端到端 Agent 基准，最强模型完成率仅约30%
📌 工作参考价值（4 点）
- 构建内部 Agent 评测集时，不要只依赖公开基准或研究者自选任务，可以从已上线且有稳定用户的产品工作流中提取真实任务，例如电商运营中的选品分析、商品文案生成、营销活动策划、客服工单处理等，让评测更贴近业务真实需求。
- 采用 deliverable-oriented 的任务定义：要求 Agent 产出完整可交付物（如报告、代码、设计文档），并用细粒度 rubric 对多个维度打分。这样可以捕捉部分正确但不可交付的中间进展，比简单的 pass/fail 更能区分模型能力。
- 论文发现复杂指令遵循和领域专业知识是主要失败点。在电商/广告场景落地 Agent 时，建议通过领域知识注入（如 RAG 挂载商品知识库、行业规则库）和约束检查模块来强化这些薄弱环节，而不是单纯依赖通用大模型。
- 评估时要使用统一的 agent harness，避免不同框架差异干扰模型能力判断；同时关注模型在部分进展上的表现，为迭代优化提供信号。
多领域编程Agent基准：抗污染任务构建与开放评估
🧭 多域编码Agent评估与抗污染基准 ★ 深度解读
Tencent (Youtu Lab, Keen Security Lab, Workbuddy, Yunding Security Lab)
提出跨Code/Web/Office/Security四域的抗污染编程Agent评估套件，任务由真实场景改写且完全开放可审计
📌 工作参考价值（4 点）
- 任务构造抗污染：从真实commit/PR反向工程并改写为口语化角色请求，隐藏根因和参考diff，使提示无法通过搜索获取，可借鉴用于构造内部Agent评测集，避免记忆偏差。
- 多域评估设计：覆盖仓库级代码、前端、办公文件、安全四大类，可按业务需求拆分类似维度评估自研Agent，尤其适合需处理多类型任务的推荐系统辅助Agent。
- 统一沙盒执行与开放审计：Harbor风格任务目录打包，双评估器可复现，全部测试和参考方案公开。在电商/广告Agent评测中，可参考其沙盒隔离和评估前隐藏测试的方式保证公平性。
- 反欺骗与可靠评分：Security的5层反欺骗机制（禁止字面量扫描、重命名输入等）和Office的证据驱动法官，可用于需要防止Agent走捷径的业务线上评测。
EnterpriseClawBench: 基于真实工作会话的企业智能体基准
🧭 企业智能体评估 · 多维度基准
Horizon Research · Frontis.AI
从真实企业Agent日志构建852个可复现任务的基准，揭示评估必须报告多维度指标而非单一得分
📌 工作参考价值（4 点）
- 评估生产环境Agent时，必须同时上报成本、运行时间、产物交付质量、视觉质量等，不能只依赖文本匹配得分，这在推荐系统Agent评估（如自动素材生成、文案产出）中同理。
- 基准构建采用从真实日志恢复任务的方式，可以借鉴到电商/广告Agent的离线评估：从历史操作会话中抽取场景，脱敏后重构可复现的测试集，防止数据泄露。
- 硬规则（hard rules）与技能子类（skill subclasses）的标注思路，可用于业务Agent的细分能力诊断，例如区分“商品标题生成”与“广告文案创意”的不同技能域，针对性优化。
- 工具-模型组合（harness–model combination）的评测模式提醒我们：Agent框架选择（类似推荐系统中的召回/排序通道）对最终效果影响显著，需要联合调优而非单独比拼模型。
CEO-Bench：AI 智能体能否在模拟创业中玩转长线经营？
🧭 智能体长期决策评估 ★ 深度解读
Princeton University
构建 500 天初创公司经营模拟，考察智能体长期规划、信息获取与自适应能力，多数模型破产，顶尖模型勉强盈利。
📌 工作参考价值（4 点）
- 长期决策能力测试范式：在电商/推荐系统中，可参照该基准设计类似“多周期经营模拟”来评估 Agent 在面对延迟反馈、非平稳环境时的策略稳定性，例如动态定价、广告投放的长时间 A/B 测试模拟。
- 细粒度工具与数据接口设计：该基准的 Python API 和 19 表数据库为 Agent 提供了 SQL 分析 + 精细化动作空间，可以借鉴到推荐系统 Agent 中，让模型自主查询用户行为表、调整推荐策略参数，实现闭环优化。
- 隐藏信息推断与条件规划：模拟中智能体通过挖掘交易历史、社会媒体帖子推断市场偏好，并编写 IF-THEN 场景模拟代码；推荐系统 Agent 可类似地分析用户隐式反馈、预测不同策略的长期收益，提升自适应能力。
- 多模型行为模式对比：研究发现顶尖模型（Opus 4.8, GPT-5.5）将 90% 开发预算用于精准客户群定向，而弱模型则“一刀切”；在广告/推荐中，可借鉴该分析维度，监控 Agent 的策略粒度与资源分配合理性。
WeaveBench：面向混合接口计算机使用智能体的长程真实世界基准
🧭 计算机使用智能体基准测试
Zhejiang University · Microsoft Research Asia · Tsinghua University
提出长程混合接口（GUI+CLI+代码）智能体基准，揭示轨迹感知评估能纠正纯结果评分的虚高问题。
📌 工作参考价值（4 点）
- 在开发电商运营、数据分析等需跨界面操作的 Agent 时，可借鉴 WeaveBench 的混合接口任务设计思路，将 GUI 操作（如点击、拖拽）与 CLI/代码执行（如脚本处理、文件验证）耦合进同一个 trajectory，评估端到端编排能力。
- 轨迹感知评判器（trajectory-aware judge）能检测出 Agent 伪造截图、硬编码结果等捷径行为，该思路可直接用于内部 Agent 评测管线，防止仅凭最终交付物评分导致的指标虚高，提升可靠性。
- 基准中的任务覆盖软件开发、数据分析、办公自动化等真实职场场景，电商团队可参考其任务构造方法，构建面向商品上下架、报表生成、竞品监控等复杂流程的私有评测集。
- 观察到的最高通过率仅 41.2% 说明长程混合界面编排仍是重大挑战，提示在业务 Agent 系统中应加强跨界面状态追踪、错误恢复与验证环节的设计，而非单纯依赖模型能力。
个性化存储：长程Agent记忆基准与学习
🧭 个性化LLM Agent记忆管理 ★ 深度解读
KAIST
提出首个评估个性化记忆系统的基准PerMem-Bench，发现会话级存储门控可显著提升保留率但准确门控仍是挑战
📌 工作参考价值（4 点）
- 电商场景中不同用户对同一域（如售后、导购）的交互需求差异显著，可借鉴 session-level gating 思想，在对话结束后判断是否持久化记忆，减少存储预算浪费。
- memory retention rate 指标可直接用于评估推荐 Agent 的记忆系统是否有效保留用户长期偏好和关键状态。
- 结构感知门控方法通过识别会话间的项目结构来推断长期任务，结合用户意图的长程建模，可提升电商 Agent 个性化响应的连贯性。
- 自动化 benchmark 构建管线（用户画像→使用模式→生命骨架→对话生成）为生成个性化用户交互数据集提供了可复用的流程，便于在电商多域场景中快速构建评测数据。
AgentKernelArena：面向泛化性的GPU内核优化代理基准测试
🧭 GPU内核优化代理评估基准
AMD
首个覆盖HIP/Triton/PyTorch-to-HIP的智能体GPU内核优化评估基准，引入未见配置泛化测试。
📌 工作参考价值（4 点）
- Agent迭代优化流程的量化评估：借鉴其编译、正确性、性能三道门控检查的设计，可为推荐系统中代码生成Agent（如特征工程脚本优化、数据处理pipeline生成）构建类似的闭环评测，确保输出代码在真实环境中可用且高效。
- 泛化测试避免过拟合：论文揭示从零生成的kernel容易硬编码特定输入形状，在未见配置下正确性大幅下降。在电商场景中，若用Agent生成模型训练或推理代码，应增加不同batch size、序列长度等配置的泛化测试，避免隐式过拟合。
- 隔离执行与集中评分：其模块化工作区隔离执行、集中打分的框架可复用于多Agent系统的性能基准测试，尤其适合评估代码优化类Agent的鲁棒性和速度提升。
- 对推荐场景的直接价值有限：工作聚焦底层GPU kernel优化，与业务层的生成式推荐、多智能体协作关联较弱，主要提供评估方法论参考。